Các tính chất của xích Markov Xích_Markov

Đặc điểm của một xích Markov được biểu diễn bởi phân bố điều kiện

P ( X n + 1 | X n ) {\displaystyle P(X_{n+1}|X_{n})\,}

đó là xác suất chuyển dịch của quy trình.

Nó đôi khi còn được gọi là xác suất chuyển dịch "một-bước".

Xác suất của một chuyển dịch trong hai, ba, hoặc nhiều bước hơn được rút ra từ xác suất chuyển dịch một bước và thuộc tính Markov:

P ( X n + 2 | X n ) = ∫ P ( X n + 2 , X n + 1 | X n ) d X n + 1 = ∫ P ( X n + 2 | X n + 1 ) P ( X n + 1 | X n ) d X n + 1 {\displaystyle P(X_{n+2}|X_{n})=\int P(X_{n+2},X_{n+1}|X_{n})\,dX_{n+1}=\int P(X_{n+2}|X_{n+1})\,P(X_{n+1}|X_{n})\,dX_{n+1}}

Tương tự,

P ( X n + 3 | X n ) = ∫ P ( X n + 3 | X n + 2 ) ∫ P ( X n + 2 | X n + 1 ) P ( X n + 1 | X n ) d X n + 1 d X n + 2 {\displaystyle P(X_{n+3}|X_{n})=\int P(X_{n+3}|X_{n+2})\int P(X_{n+2}|X_{n+1})\,P(X_{n+1}|X_{n})\,dX_{n+1}\,dX_{n+2}}

Các công thức này tổng quát hóa tới các thời điểm n + k tùy ý trong tương lai bằng cách nhân các xác suất chuyển dịch và lấy tích phân k − 1 lần.

Xác suất biên (marginal distribution) P(Xn) là phân bố trên các trạng thái tại thời điểm n. Phân bố ban đầu là P(X0). Sự tiến hóa của quy trình qua một bước được mô tả bằng công thức

P ( X n + 1 ) = ∫ P ( X n + 1 | X n ) P ( X n ) d X n {\displaystyle P(X_{n+1})=\int P(X_{n+1}|X_{n})\,P(X_{n})\,dX_{n}}

Đây là một phiên bản của phương trình Frobenius-Perron.

Có thể tồn tại một hoặc nhiều phân bố trạng thái π sao cho

π ( X ) = ∫ P ( X | Y ) π ( Y ) d Y {\displaystyle \pi (X)=\int P(X|Y)\,\pi (Y)\,dY}

trong đó Y chỉ là một cái tên thuận tiện cho biến tích phân (variable of integration).

Phân bố π như vậy được gọi là một phân bố ổn định (stationary distribution) hoặc phân bố trạng thái ổn định.

Một phân bố ổn định là một hàm riêng (eigenfunction) của hàm phân bố điều kiện, gắn với giá trị riêng (eigenvalue) là 1.

Việc có phân bố ổn định hay không, và nó có là duy nhất hay không (nếu tồn tại), là phụ thuộc vào từng thuộc tính cụ thể của quá trình.

Bất khả quy nghĩa là mọi trạng thái đều có thể truy xuất từ mỗi trạng thái khác. Một quá trình là tuần hoàn nếu tồn tại ít nhất một trạng thái mà quá trình sẽ trả về trạng thái đó sau một khoảng thời gian cố định (lớn hơn một). Phi tuần hoàn (aperiodic) nghĩa là không tồn tại trạng thái nào như vậy cả.

Hồi qui dương (positive recurrent) nghĩa là thời gian được kì vọng trở lại trạng thái ban đầu là một giá trị dương cho mọi trạng thái.

Nếu chuỗi Markov là hồi qui dương, thì tồn tại một phân bố ổn định.Nếu chuỗi Markov là hồi qui dương và không thể tối giản được nữa, thì tồn tại một phân bố ổn định duy nhất.